一张图替代 LoRa：ControlNet 发布重大更新 Reference Only

这是昨天ControlNet发布的重大更新，是基于一张图片作为参加就可以生成对应风格和特定人物的图片，而不需要调用特定的LoRa。

https://github.com/Mikubill/sd-webui-controlnet/discussions/1236

ControlNet 的野心好大，上个月我在清华美院分享的 AI绘画可控性研究与应用 里提到最新的 ControlNet 把图片参考和图片修改也包含进去了，这一次它想把LoRa的功能也包含进去。

其实以一张图片作为风格参考，这个功能在Midjourney上就有，MJ的垫图就可以识别出图片的人物和画风，但是controlnet这次的不同点在于：它可以结合其它的控制模型一起使用，用图片提取的画风和人物可以通过openpose这样的控制功能，实现同一人物的不同姿势，或者同一画风的不同人物。这个在过去只能通过LoRa才能实现。

而LoRa训练毕竟还是相当麻烦且贵，controlnet的Reference Only大大简化了这个流程。

接下来分享一些官方的介绍和测试样例。

---

现在我们有了一个  reference-only 的预处理器，不需要任何控制模型，它可以直接使用图像作为参考来指导扩散。

（提示：“一只在草原上奔跑的狗，最佳质量，...”）

这种方法类似于基于 inpaint 的参考方法，但不会使您的图像变得混乱。

许多专业的A1111用户知道一种通过修补和参考图像扩散图像的技巧。例如，如果您有一张512x512的狗的图像，并想生成另一张具有相同狗的512x512图像，一些用户会将512x512的狗图像和512x512的空白图像连接成一个1024x512的图像，然后将其送到修补工具中，并将空白的512x512部分遮罩以扩散具有类似外观的狗。然而，由于图像被连接起来，这种方法通常不是很令人满意，因为会出现许多扭曲。

这个 reference-only 的ControlNet可以直接连接您的SD的注意力层与任何独立的图像，以便您的SD可以阅读任意图像作为参考。您需要至少 ControlNet 1.1.153 才能使用它。

要使用它只需选择 reference-only 作为预处理器并输入图像。您的SD将仅使用图像作为参考。

这种方法是不需要模型的、仅基于参考的，因此可以毫无问题地处理动漫图像。

输入（实际上这是一张人工绘制的图像）

输出

现在你的“画出同一个人但有一些变化”的问题应该得到解决了。

（编辑 - 如果你想在1.1.170中复现这个例子，请使用“balanced”模式，style fidelity = 1.0）

为了比较，这是T2I适配器风格，使用相同的输入、提示和参数。

这是使用CN 1.1 Shuffle的结果，输入、提示和参数都是相同的。

很难说哪种方法更好，但对我来说，这个例子非常困难，两种方法都失败了。（因为这两个模型都不是为了处理动漫图像而设计的）

但是，仅基于参考的方法是不需要模型的，因此不会有这个问题。

如果你有一个明确的目标，那么你肯定需要这个新的“仅基于参考”的方法。

这种方法可以在处理过程中重新扩散midjourney的图像。

Midjourney V5 (https://twitter.com/kajikent/status/1654409097041817601):

SD1.5 (Realistic Vision V20):

我甚至没有使用高分辨率修复。只是一个随机运行，没有太多质量上的考虑。仅作简单记录。

---

推特上有人用这个方法制作视频风格迁移的，这个也是之前需要训练特定的Lora，但是现在只需要一张图片作为参考就可以了。

https://twitter.com/TDS_95514874/status/1657862852122931202

左侧是没有使用 Reference Only，中间是参考图，右侧是使用了Reference Only的结果。

---

下面是一个日本推特写的测评：

①第一张图是512*768的原图，经过ControlNet的tile处理变成了1024*1536。

②第二张图是在原图的基础上，使用 Reference Only，无提示词，输出为1024*1536。可以看到，与参考图像相比，直接输出的图像特征更加突出。 

③第三张图是在原图的基础上，使用 Reference Only，使用了与第一张图相同的提示，大小为512*768。颜色风格相当保留，服装图案也保留了下来。我现在想要增加i2i的降噪强度。 

④第四张图是在原图的基础上，使用 Reference Only，将提示从花卉变为城市街道。颜色风格相似，身体方向也被继承了下来，因此在同一人物穿不同衣服或背景时非常实用！我认为结构看起来很好！

因此，当颜色也被继承时，感觉有点羡慕呢。我觉得在多个ControlNet中巧妙地操作可能会行得通。

https://twitter.com/AIGirl_Photo/status/1657650034459152384